Seguí un excelente tutorial paso a paso para instalar Kafka en Linux . Todo funcionaba bien para mí hasta que reinicié Linux. Después del reinicio, aparece el siguiente error cuando intento consumir una cola con kafka-console-consumer.sh .
$ ~/kafka/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic TutorialTopic --from-beginning[2016-02-04 03:16:54,944] WARN [console-consumer-6966_bob-kafka-storm-1454577414492-8728ae43], no se encontraron intermediarios al intentar reequilibrar . (kafka.consumer.ZookeeperConsumerConnector)
Antes de ejecutar el script kafka-console-consumer.sh , envié datos a la cola de Kafka mediante el script kafka-console-producer.sh . Estos pasos funcionaron sin problemas antes de reiniciar Linux.
Puedo corregir el error iniciando manualmente Kafka; pero preferiría que Kafka se iniciara automáticamente.
¿Qué podría causar que Kafka no se inicie correctamente después de reiniciar?
Así que tuve un problema similar en nuestro clúster de hortonworks hoy. Parece que Zookeeper no estaba iniciando correctamente. Primero probé kakfa-console-producer y obtuve la siguiente excepción:
kafka-console-producer.sh --broker-list=localhost:9093 --topic=some_topic < /tmp/sometextfile.txt``` kafka.common.KafkaException: fetching topic metadata for topics```La solución para mí fue reiniciar el servidor que había dejado de responder. el suyo puede ser diferente, pero juegue con el productor de la consola y vea qué errores obtiene.
Tengo este mismo problema hoy cuando ejecuto un consumidor:
WARN [console-consumer-74006_my-machine.com-1519117041191-ea485191], no brokers found when trying to rebalance. (kafka.consumer.ZookeeperConsumerConnector)
Resultó ser un problema de disco lleno en la máquina. Una vez que se liberó el espacio, el problema se resolvió.
Por defecto, kafka almacena toda la información en la carpeta /tmp . La carpeta tmp se elimina cada vez que reinicia. Puede cambiar la ubicación de esos archivos cambiando en el archivo de propiedades config/server.properties la propiedad log.dirs .